Tên gọi

Tên gọi chính của đảo là Lại Sơn, ngoài ra đảo còn được gọi là Hòn Rái, Hòn Sơn hay Hòn Sơn Rái.

Theo truyền thuyết, Hòn Rái có tên do trên đảo xưa có nhiều cây dầu rái, loại cây cho nhựa để xảm thuyền và quét lên vỏ thuyền chống nước biển ăn mòn. Có nguồn còn cho rằng, đảo mang tên này do xưa kia có nhiều rái cá sinh sống.